Từ năm 1954, ông chuyển sang công tác trong ngành ngoại giao và lần lượt đảm nhiệm các chức vụ Chánh văn phòng Bộ Ngoại giao (1954–1956), Tổng lãnh sự nước Việt Nam Dân chủ Cộng hòa tại Cộng hòa Ấn Độ (1956–1960); Thứ trưởng Bộ Ngoại giao và Uỷ viên Đảng đoàn Bộ Ngoại giao (tháng 8 năm 1960 – tháng 5 năm 1979); Quyền Trưởng đoàn Đoàn đại biểu Chính phủ Việt Nam Dân chủ Cộng hòa tại Hội nghị Genève về Lào (1961–1962); Thứ trưởng Bộ Ngoại giao phụ trách công tác đấu tranh chống Mỹ (từ 1964).

Ông là trợ lý cho Cố vấn Lê Đức Thọ trong đàm phán với Mỹ (1972–1973) đưa đến việc ký kết Hiệp định Paris về Việt Nam; Trưởng đoàn đại biểu Việt Nam Dân chủ Cộng hòa tại Hội nghị Bộ trưởng Bộ Ngoại giao các nước không liên kết tại Peru (1975); Đặc phái viên của Chính phủ thăm các nước Ả Rập, Tây Âu, Bắc Âu và ASEAN (1976–1980); Trưởng đoàn đại biểu Việt Nam tại Hội nghị Bộ trưởng Bộ Ngoại giao các nước không liên kết tại Colombo (Sri Lanka), New Delhi (Ấn Độ), Luanda (Angola) (1979–1986); Trưởng đoàn đại biểu Việt Nam dự Đại hội đồng Liên Hiệp Quốc tại New York (1979–1991).

Tháng 5 năm 1979, ông làm Quốc vụ khanh Bộ Ngoại giao (hàm Bộ trưởng), rồi Bộ trưởng Bộ Ngoại giao từ tháng 1 năm 1980; Phó Chủ tịch Hội đồng Bộ trưởng kiêm Bộ trưởng Bộ Ngoại giao (tháng 2 năm 1987 – 1991).

Ông là Uỷ viên Ban chấp hành Trung ương Đảng từ tháng 12 năm 1976 đến 1991, Uỷ viên dự khuyết Bộ Chính trị từ năm 1982, Uỷ viên chính thức Bộ Chính trị khoá VI (1986–1991), phụ trách Ban Đối ngoại Trung ương Đảng.

Theo cựu đại sứ Việt Nam ở Trung Quốc, thiếu tướng Quân đội nhân dân Việt Nam Nguyễn Trọng Vĩnh, việc ông Nguyễn Cơ Thạch mất ghế bộ trưởng bộ ngoại giao là do áp lực của Trung Quốc trong Hội nghị Thành Đô 1990, điều kiện để bình thường hóa quan hệ hai nước.[1]. Theo trang mạng đài RFA, lúc đó ông Nguyễn Cơ Thạch với tư cách bộ trưởng bộ ngoại giao đã phản đổi một số nội dung về thỏa thuận Thành Đô 1990 mà ông cho là nhân nhượng Trung Quốc trong vấn đề Campuchia[2] Tuy nhiên, sau một cuộc dàn xếp khôn khéo, ngày 29/9/1990, 3 tuần sau Hội nghị Thành Đô, chính Bộ trưởng Ngoại giao Nguyễn Cơ Thạch đã được cử đi thực hiện nhiệm vụ quan trọng là gặp gỡ Bộ trưởng Ngoại giao Hoa Kỳ James Baker tại New York, bắt đầu việc đám phán bình thường hóa quan hệ với Hoa Kỳ[3].

Sau khi thôi chức Bộ trưởng Bộ Ngoại giao, ông tham gia nghiên cứu Tổng kết công tác ngoại giao, nghiên cứu kinh tế thế giới và chiến lược đối ngoại (tháng 10 năm 1991 – 1998).

Ông còn là đại biểu Quốc hội khoá VII (1981–1987) và khoá VIII (1987–1992).

Ông đã được tặng thưởng Huân chương Hồ Chí Minh.

Ông mất ngày 10 tháng 4 năm 1998 tại Hà Nội, hưởng thọ 77 tuổi.

Ngày 15 tháng 1 năm 2007, ông được Chủ tịch nước truy tặng Huân chương Sao Vàng. Bà Phan Thị Phúc, vợ ông đại diện cho ông nhận phần thưởng này.